KOLAS-SR-013 : 2021

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

소프트웨어 시험기관 인정을 위한 추가기술요건

한국인정기구

Korea Laboratory Accreditation Scheme

Korean Agency for Technology and Standards, MOTIE, Korea

서 론

KOLAS-SR-013                                      국가기술표준원 고시 제2021-0088호(2021.04.08.)

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

한국인정기구 (KOLAS)                                                             페이지 ()/(18)

- 이 문서는 소프트웨어 평가를 수행하는 시험기관 및 소프트웨어 관련시험을 수행하는 KOLAS 공인시험기관(이하 “공인시험기관”이라 칭한다)을 인정하기 위하여 준수되어야 할 특별 요건을 기술한 것이다.

- 본 규정은 KS Q ISO/IEC 17025:2017 및 KOLAS가 발행한 최신 버전 기술 문서 시리즈와 함께 검토되어야 한다.

- 본 규정은 본 문서의 준수가 모든 분야의 소프트웨어 시험표준 요건의 만족을 의미하지는 않는다는 사실에 유의해야 한다. 몇몇 소프트웨어 분야에 대한 시험표준에는 시험을 시행할 때 준수해야 하는 별도의 요건이 존재할 수 있으며, 본 규정의 목적은 소프트웨어 제품평가를 위한 시험 및 소프트웨어 관련시험을 위해 필요한 요건을 기술하는데 있다.

- 공인시험기관은 소프트웨어 평가를 수행하기 위한 시험 및 소프트웨어 관련시험을 위한 시험의 능력에 대해서 KS Q ISO/IEC 17025:2017에 따라 수립한 품질 문서 및 본 규정에서 요구하는 문서(평가모듈 등)로 시험 및 평가 업무를 명확히 정의하여야 한다.

비고 평가대상 소프트웨어에 대해 분야(또는 유형)별로 평가모듈을 작성할 수 있으며, 이때 소프트웨어 분야(또는 유형)는 소프트웨어진흥법 시행규칙, 관련 고시 등에서 분류한 분야를 사용하거나, 공인시험기관에서 정한 기준에 의해 분야(또는 유형)를 정할 수 있다(예, 보안소프트웨어, 임베디드소프트웨어, 바이오인식소프트웨어, 게임소프트웨어, 모바일소프트웨어 등).

1. 적용 범위

1.1 이 문서는 소프트웨어 평가 또는 소프트웨어 관련시험을 수행하기 위해 공인시험기관 인정을 희망하는 사업자 (이하"신청사업자"라 칭한다.), 공인시험기관 인정을 받은 사업자에 적용한다.

비고  이 문서에서 “시험 기관”은 인정된 기관과 신청 사업자를 의미한다.

2. 규 격

2.1 인용 표준

본 규정은 다음에 열거하는 표준을 인용하며, 개정 내용을 포함하는 최신 버전이 적용된다.

(1) KS Q ISO/IEC 17000, 적합성평가-용어 및 일반원칙

(2) KS Q ISO/IEC 17025:2017 시험 및 교정 기관의 적격성에 대한 일반 요구사항

(3) IEEE 829:2008 Software and System Test Documentation

(4) IEEE 610-12:1990 IEEE Standard Glossary of Software Engineering Terminology

(5) KS X ISO/IEC 15939 정보 기술 - 소프트웨어 공학 - 소프트웨어 측정 프로세스

3. 정 의

3.1 상업용 패키지(Commercial Off-The-Shelf : COTS)

시장수요에 따라 정해지는 상업용 패키지(Commercial Off-The-Shelf) 소프트웨어 제품으로서, 그 사용 적합성은 광범위한 상업상의 소비자에 의해 확인되고 있다.

비고 1. COTS 소프트웨어 제품은 다음을 포함한다.

- 제품 설명 (모든 표지 정보, 데이터 시트, 웹  사이트 정보 등을 포함),

- 사용자 설명서 (소프트웨어를 설치하고 사용하는데 필요한),

- 컴퓨터의 감각적인 미디어 (디스크, 시디롬, 인터넷 다운로드 등).

비고 2. 이것은 ISO/IEC 25051:2014에 적응되었다.

비고 3. 이 정의는 별도의 제조된 제품과 같이 제작되고 제공되는 제품 설명, 사용자 설명서와 소프트웨어에 적용될 수도 있지만, 일반적인 상업 수수료 및 라이센스 고려 사항에는 적용되지 않을 수 있다. [ISO/IEC 25051]

3.2 형상 관리 (Configuration management)

변경 프로세스에 기술 및 관리 차원의 지시와 감독을 적용하는 원칙. 변경 프로세스는 형상 항목의 기능적, 물리적 특성을 식별하여 문서화하고, 그러한 특성들의 변화를 제어하고, 변경 절차와 구현 상태를 기록 및 보고하고, 명시된 요구사항에 적합한지를 검증하는 것이다.

3.3 결함 (defect)

필요한 기능을 수행하지 못하도록 하는 컴포넌트나 시스템 상의 결점. 실행 중에 결함이 발생할 경우, 컴포넌트나 시스템의 장애(failure)를 발생시킬 수 있다

3.4 오류 또는 결함 (Error or Fault)

이론적으로 올바른 조건 또는 값이나 명확화된 사실과 계산, 관찰 또는 측정된 값 사이의 다른 점 [IEEE STD 610-12:1990]

3.5 측정 (Measure (noun))

측정의 결과로 할당된 값에 대한 변수

3.6 측정 (Measurement)

측정변수의 값을 결정하기 위한 일련의 연산들

3.7 리스크 분석(Risk analysis)

소프트웨어 동작 중 부정적 결과로 끝날 수 있는 요소 즉, 위험의 영향력과 발생가능성을 측정하기 위해 식별된 위험을 분석하는 절차

3.8 소프트웨어 제품 (Software product)

컴퓨터 프로그램, 절차서, 가능한 연관된 문서와 데이터들의 집합

비고. 이 문서에서 소프트웨어는 소프트웨어 제품과 같은 의미를 가진다.

3.9 소프트웨어 시험시스템(SUT: System Under Test)

시험기관에 의해 시험 중인 소프트웨어 제품 또는 시스템

3.10 소프트웨어 평가 (Test)

시스템이나 구성 요소가 특정 조건 하에서 실행되는 활동으로써, 그 결과는 관찰하거나 기록될 수 있고 시스템 또는 구성 요소의 몇 가지 측면을 평가할 수 있다.

3.11 소프트웨어 시험 (Testing)

소프트웨어 제품과 관련 작업 산출물이 특정 요구명세를 만족하는지 결정하고, 목적에 부합하는지 입증하고 결함을 찾아내기 위한 작업.

3.12 소프트웨어 테스트 케이스 (Test case)

특정 프로그램 경로 수행 또는 특정 요구사항을 준수하는지 검증 등 특별한 목적을 위해 개발된 예상 결과, 수행 전제 조건, 입력 세트.

3.13 소프트웨어 시험 장비 (Test Device)

시험시 소프트웨어 동작을 위해 요구되거나 요구된 시험을 수행 또는 보조하기 위해 사용되는 하드웨어들의 집합

3.14 시험방법 (Test method)

지정된 제품 요소 또는 전체 제품에 적용되는 특정한 측정에 대한 결과를 얻기 위하여 시험요원이 수행하는 행위를 기술한 절차

3.15 소프트웨어 시험 스위트 (Test suite)

시험 대상 컴포넌트나 시스템에 대한 시험 목적을 만족시키기 위해 필요한 시험 케이스로 구성된 집합, 즉 시험 케이스의 묶음

3.16 소프트웨어 시험 기법 (Test technique)

소프트웨어 시험을 수행하는데 필요한 방법 및 기능

3.17 소프트웨어 시험 도구 (Test tool)

필요한 시험을 수행하거나 수행을 돕기 위해 사용하는 하드웨어 또는 소프트웨어(시험 스위트 제외)

3.18 소프트웨어 시험판정 (Test verdict)

시험이 수행될 때 시험 케이스와 관련한 소프트웨어의 적합성을 고려해 시험 케이스에서 명시한 ‘적합’, ‘부적합’, ‘미결정’을 진술

비고 KS Q ISO/IEC 17025:2017의 적합성 진술의 요건에 따라 의사결정 규칙에 기반한 진술이 필요함.

3.19 앞에서 열거한 것을 제외한 본 규정에 관계된 용어의 정의는 KSA X ISO/IEC 25000시리즈, ISO/IEC 29000 시리즈, ISO/IEC 17000 및 ISO 9000 중 해당되는 정의를 적용한다.

4. KS Q ISO/IEC 17025 조항 적용

소프트웨어 시험기관 평가 시 KS Q ISO/IEC 17025:2017의 조항 중 조직구조, 자원 및 프로세스에 관한 요구사항은 다음의 내용을 적용하여 평가한다.

5. 조직구조 요구사항

5.4 KS Q ISO/IEC 17025:2017의 경영 시스템 요구사항들과 소프트웨어 시험을 위하여 이 문서의 추가 요구사항들은 해당 기관의 시설, 고객의 시설에서 수행되는 시험, 고객 시설 또는 위탁 계약된 시설에 원격 연결을 통해 수행되는 시험에 적용한다.

6. 자원 요구사항

6.2 인원

6.2.1 시험 기관에서 기술 책임자의 자격 및 적격성은 아래와 같이 정의한다.

(1) 기술책임자는 시험업무의 기술적 사항에 있어 모든 책임을 진다.

(2) 기술책임자는 시험업무에 관련하여 충분한 기술적 지식을 보유하며 정확한 시험결과를 도출할 수 있는 능력을 보유하여야 한다.

(3) 기술책임자는 아래에 열거한 지식, 시험자의 교육․훈련 및 적절한 감독․지시를 수행할 수 있는 능력을 보유하여야 한다.

① 시험보고서 등의 작성을 포함한 시험업무

② 시험 평가 중인 소프트웨어에 관련된 지식

③ 소프트웨어 시험 및 평가에 관련된 지식

6.2.2 시험 기관에서 공인시험기관의 시험 요원의 자격 및 적격성은 아래와 같이 정의한다.

(1) 시험 요원은 시험 및 평가업무에 관련된 내부자격을 충족하고 있어야 한다.

(2) 시험 요원은 6.2항에 규정된 지식을 보유하고 있으며, 내부자격기준은 적절함을 요한다.

6.2.3 시험 기관은 기술책임자 및 시험요원을 포함한 요원에 대한 교육․훈련을 제공하기 위한 방침 및 절차를 준비하여야 한다. 해당 교육․훈련프로그램은 공인시험기관의 업무에 대하여 적합성을 보장하여야 한다.

6.2.4 전 항의 교육․훈련프로그램은 본 규정 6.2.1항의 (3)에 집중하여 이루어져야 한다. 또한, 시험업무에 필요한 경우에는 전산분야 전문지식 등 업무와 관련된 교육․훈련프로그램을 수행하여야 한다. 교육․훈련은 적합한 시험을 계속하여 수행하고 최신기술에 대응할 수 있도록 기술책임자 및 시험요원에 대하여 정기적이고 계획적으로 이루어져야 한다.

6.3 시설 및 환경조건

6.3.1 시설의 기밀보호 및 소유권보호

(1) 시험 기관은 고객의 기밀보호 및 소유권보호를 확실히 담보하기 위한 방침 및 절차를 보유하여야 한다. 특히 시험이 이루어지는 시설(이하 “시험실”이라 칭한다.), 시험 중 습득한 기밀정보를 보관하는 시설, 해당정보를 전송하는 도구(FAX, 이메일 등)의 기밀보호 및 소유권보호를 확실히 보장하기 위한 방침 및 절차를 보유하여야 한다.

(2) 시험 기관은 시험실에 대한 접근을 기밀보호 및 소유권보호의 관점에서 시험작업에 필요한 최소한의 권한으로 제한하여야 한다.

(3) 시험에 관계된 기밀정보를 보관하는 시설에 관련된 방침 및 절차에는 아래의 항목을 포함하는 것이 바람직하나, 이를 강제하지는 않는다.

① 시험에 관련된 기밀정보는 고객과 시험하는 경우 등 업무에 요구되는 경우를 제외하고는 외부로 가지고 나올 수 없다.

② 시험에 관련된 기밀정보 중 불필요해진 정보는 고객에게 확실히 반납하거나 복원 불가능한 상태로 폐기․소거하여야 한다.

예) 복원  불가능한 상태로 폐기․소거의 예로써 종이류의 경우 절단기, 용해처리기를 통한 용해, 전자기기의 경우 해당기기의 초기화, 물리적 파괴 등이 있다.

(4) 시험 기관은 시험에 관련된 기밀정보를 전송하는 도구가 속해 있는 시설에서 송수신을 할 경우 송신측, 수신측을 포함한 해당 도구의 전송경로의 기밀보호를 확실히 하여야 한다.

예 1) 시험에 관련된 기밀정보를 이메일로 송수신하는 경우, 기밀정보는 해당메일의 본문에는 포함시키지 않고, 첨부파일에 첨부하여 비밀번호를 설정하는 방법이 있다. 또한, 전송경로에서 기밀정보의 보호가 확실하다고 판단되지 않을 때에는 기밀정보의 보호를 위한 수단을 강구하여야 한다.

예 2) 부득이하게 팩스를 이용하여 기밀정보를 전송하는 경우 기밀보호의 수단으로써 송신 전에 미리 수신자에게 연락하여 팩스기기 앞에 대기하도록 하는 등의 방법이 있다.

(5) 시험 기관은 고객의 기밀정보 및 소유권보호에 관련된 윤리규정을 갖추어야 한다.

(6) 시험 기관은 소유권보호 시스템을 보유하고 있어야 한다. 이 시스템은 고객 등이 소유권을 가지고 있는 하드웨어, 소프트웨어, 시험 관련 데이터, 문서 기록 및 기타의 자료를 보호하기에 충분한 기능을 가져야 한다.

(7) (6)의 소유권보호 시스템은 공인시험기관의 외부직원, 방문자, 시험 정보를 접할 필요가 없는 관계 직원 및 권한이 없는 자로부터 소유권이 있는 자료 및 정보를 보호할 수 있어야 한다.

(8) 시험 기관은 시험 대상 제품의 전부 또는 일부가 소프트웨어로 구성되어 있는 경우에는 시험 중 소프트웨어 부분이 부주의로 인하여 변경되지 않도록 적절한 관리를 하여야 한다.

6.4 장비

6.4.1 장비 및 소프트웨어의 보유

6.4.1.1  시험 기관은 조직이 관리하는 모든 장비 및 소프트웨어에 관련된 기록을 관리․유지하여야 한다. 이 장비 및 소프트웨어에는 고객이 준비한 시험에 이용하는 장비 및 소프트웨어를 포함한다.

6.4.1.2 KS Q ISO/IEC 17025:2017의 장비 기록 요구사항들은 다음과 같이 여기서 정의된다:

(a) 신원 – 소프트웨어 및 하드웨어의 각 인스턴스

(b) 제조업체 – 제조업체 이름, 프로그램 이름, 버전 넘버 포함

(c) 점검 - 설치 및 운영 자격

(d) 위치 - 대상 시스템 이름 또는 위치

(e) 제조업체 지침 – 사용자 메뉴얼

6.4.1.3  시험 기관은 조직이 관리하는 모든 장비의 조작방법에 대한 매뉴얼을 보유하고 있어야 한다.

6.4.1.4  6.4.1.2 항에 있어서의 "장비"에는 시험 기관이 평가 및 시험에 사용하는 소프트웨어와 기타 기계장치를 포함하는 경우가 있다.

6.4.1.5  공인시험기관에서 개발된 시험 도구가 소프트웨어인 경우에는 해당 소프트웨어와 KS Q ISO/IEC 17025:2017 7.11 항과의 적합여부를 확인하여야 한다.

6.4.1.6 6.4.1.3항의 규정은 고객이 소유한 장비를 시험에 사용하는 경우에도 준용한다. 이 경우에 있어 시험 기관은 고객과 사용계약을 체결하여야하며, 장비는 KS Q ISO/IEC 17025:2017 6.4항에 적합함을 입증하고 입증기록을 유지하여야 한다. 인정기구에서 해당 장비의 적합성에 대한 평가가 요구되는 경우 시험 기관은 장비를 평가의 대상이 될 수 있도록 확보하여야 한다.

6.4.1.7 전기적 시간, 주파수 등 물리적 측정의 수행에 사용되는 측정 도구는 KS Q ISO/IEC 17025:2017 7.6항, 6.4항, 6.5항의 요구 사항에 따라 교정하고 확인해야 한다.

6.4.1.8 현재 기술 상태와 계속 진화하는 소프트웨어 특성 때문에 적합한 측정 도구를 사용하여 측정 가능한 전압, 주파수, 대역폭 등의 전기 또는 다른 물리적 측정 수치에 해당하는 경우를 제외하고, 측정 불확실성을 결정하기 위한 특정한 요구 사항은 없다.

6.4.3 장비의 유지

6.4.3.1 공인시험기관은 평가 및 시험에 사용하는 장비를 다음에 열거한 사항에 따라 유지하여야 한다.

(1) 제조업자의 추천

(2) 적용가능한 경우, 공인시험기관이 문서화한 매뉴얼

6.4.3.2 시험 기관은 해당되는 장비에 대하여 IT제품 또는 시스템 기능의 완전성을 훼손하지 않기 위하여 점검하여야 한다.

6.5 측정의 소급성에 관련된 일반요구사항

6.5.1 일반 사항

6.5.1.1 시험 기관은 시험 장비를 "교정"하여야 한다. 소프트웨어에 있어서 "교정"은 "유효성 검증"의 다른 표현이다. 시험 기관에서 사용하는 모든 시험도구는 시험결과를 정확하게 표시하기 위하여 독립적으로 분리하여 정확도를 검증하여야 한다.

6.5.2 세부 요구사항

6.5.2.1 교정

6.5.2.1.1 소프트웨어 시험에 있어서 KS Q ISO/IEC 17025:2017 6.5항은 적용하지 않는다.

6.5.3 교정용 표준기 및 표준 물질

6.5.3.1 소프트웨어 시험에 있어 KS Q ISO/IEC 17025:2017 6.5항은 기본적으로 적용하지 않는다.

7. 프로세스 요구사항

7.1 의뢰, 입찰 및 계약의 검토

7.1.1 계약은 시험환경에 대한 어떤 구성요소들이 공인 시험기관에 의해 보유 및 자체 수행이 지원되고 있는지, 그리고 어떤 것이 고객에 의해 지원되는지를 정의해야 한다. 이것은 하드웨어 또는 소프트웨어를 포함한다. 또한, 시험 환경 범위 인터페이스 포인트들도 분명히 정의되어야 한다.

7.2 시험 및/또는 교정 방법과 방법의 유효성 확인

7.2.1 일반 사항

7.2.1.1 시험 기관은 시험 중 결정한 모든 해석 및 방법을 기록하고 보관해야 한다.

7.2.1.2 개발된 시험방법의 유효성에 대한 요구 사항은 반복성(Repeatability)과 재현성(Reproducibility)이 가능하여야 한다. 반복성은 동일한 시험 시설에 의한 반복 시험에서 처음 수행 시 이루어진 결과와 일치하는 결과를 얻는 것을 의미한다. 재현성은 다른 시험 시설에 의한 반복 시험에서 처음 수행 시 이루어진 결과와 일치하는 결과를 얻는 것을 의미한다.

7.2.1.3 시험 기관은 대상 제품의 시험에 대한 명확한 목적 및 전략을 수립해야 하며, 시험자의 시험 수행에 대한 정보를 수집, 관리해야 한다.

7.2.1.4 시험 기관은 시험 대상 제품의 시험 목록에 대한 문서화 및 필요한 경우 시험 항목에 대한 분석을 통해 위험분석을 해야 한다.

7.2.1.5 시험 계획 수립의 문서화 및 계획에 대한 주기적인 검토 및 반영 절차가 수립 되어져야 한다.

7.2.1.6 결함 파악 및 분석을 위해 결함데이터가 수집되어야 하며, 결함등급 및 상태 등이 관리 되어져야 한다. 또한 결함 처리 절차가 수립되어 있어야 한다.

7.2.1.7 고객의 제출물 및 시험 관련 문서의 형상관리를 수행하여야 한다.

7.2.1.8 시험 환경에 대한 요구사항이 분석되어져야 하며, 시스템 및 시험 데이터가 관리 되어져야 한다.

7.2.1.9 시험 기관은 다음 사항들을 포함하는 시험 방법을 정의하고 문서화해야 한다.

(a) 시험 준비 및 설정

(b) 시험 범위(Test coverage) 및 요구사항에 대한 추적성(traceability)

(c) 테스트케이스 결과가 애매하지 않고, 기대치와 연관된 목표결과들을 수행하기 위한 동일한 결과가 보장되는 동등한 스레드(thread)를 가짐을 보장

(d) 시험 이전의 시험 문서 승인

(e) 완성된 테스트케이스 검토 및 승인

(f) 시험대상(test candidate)에 대한 형상관리

(g) 비정상 심각도 분류(anomaly severity classifications)를 포함한 시험보고서

다음 사항은 이해관계자의 필요에 따라 선택적으로 포함할 수 있다;

(h) 시험 비정상특성 및 우선순위

(i) 부분 시험 또는 재-시험 대상들을 실행하기 위한 범위

(j) 고객과 동의한 기타사항들

7.2.2 방법의 유효성 확인

7.2.2.1 KS Q ISO/IEC 17025:2017 7.2.2.1 항 비고2.의 각 방법은 소프트웨어 시험에 있어 적용하지 않는 경우가 있다. 다만, 방법원리의 과학적 이해 및 실제경험에 근거한 결과평가는 가능한 경우가 있다.

7.3 샘플링

7.3.1  소프트웨어 테스트 케이스의 샘플링: 시험소프트웨어 시험에서, 샘플링은 시험 케이스 선택을 나타낸다. 샘플링의 예는 다음과 같다.

(1) 서로 다른 조건과 변수들의 조합을 시험하기 위한 시험케이스 선택

(2) 회귀 테스트(regression test)를 위해 재실행하는 시험케이스 선택

7.5 기술 기록

7.5.1 기술적인 기록들은 SUT를 위해 사용된 시험 환경에 대해서 가능한 한 정확하고 완전한 식별을 포함한다. 즉, 이것은 하드웨어 및 소프트웨어의 모든 시스템 구성요소들에 대한 완전한 형상관리 식별을 포함하여야 한다.

7.6 측정 불확도 추정

7.6.1 KS Q ISO/IEC 17025:2017의 7.6항에서 측정 불확도(MU: Measurement Uncertainty)의 개념은 소프트웨어 시험이 pass/fail 기반의 디지털 논리를 수행하므로 적용할 수 없다.

비고. MU는 다음의 조건하의 소프트웨어에 적용될 수도 있다:

a) SUT가 수학 연산을 수행하거나, 통계분석,  대수학, 또는 기하학에서 근사치 또는 원순화 등을 사용할때, 불확도는 알고리즘 자체에 의해 소개될 수도 있다. 이것이 SUT의 출력 또는 기능 등에 중요한 것일 경우, MU는 문서화될 수 있다.

(b) 인정의 범위에서 교정 및 측정기능(Calibration and Measurement Capabilities: CMC)) 요구를 지원하기 위해 사용된 소프트웨어에 대한 시험을 수행하는 조직들에 대해서, 이 소프트웨어는 측정 불확도 값들이 ISO/IEC Guide 98 “Guide to the Expression of Uncertainty in Measurement” (GUM)의 현재 버전에 상술된 방법에 따라 계산됨을 보장하기 위해서 모든 필요한 공헌자(기능)들을 포함한다. GUM을 따른 이 소프트웨어의 유효성은 정의된 절차를 따르도록 하며, 이에 대한 유효성 기록들이 유지되어야 한다.

7.8 결과보고

7.8.1 일반 사항

7.8.1.1 시험 기관은 평가보고서 또는 시험성적서 결과 승인에 책임을 지는 자를 인정기구에 기술책임자로서 신고하여야 한다. 평가보고서 또는 시험성적서를 작성하는 시험자는 평가보고서 또는 시험성적서에 서명․날인하고, 평가보고서 또는 시험성적서에 기술책임자가 서명․날인하여야 한다.

7.8.1.2 시험에 소요된 모든 실시 년 월 일 또는 실시기간 중 최종일을 기재하여야 한다.

7.8.3 시험 보고서

7.8.3.1 각 시험된 소프트웨어에 대해서 복수의 보고서가 발행될 수 있다. 이 경우, 각 시험 또는 평가 보고서는 고유의 식별기능을 가지고 있어야 한다.

7.8.3.2 시험보고서들이 복수 시험들 또는 부분 시험들을 포함할 경우, 이 시험 보고서는 이들이 완전히 인정된 시험임을 보이기 위해서 어떻게 상호연관 되는지를 기술한다.

7.8.3.3 개방 오류들을 포함하는 시험보고서들은 애매하지 않은 방법으로 기술되고 사용자 입장의 엄밀한 표현을 포함해야 한다.

7.10 부적합 시험 및/또는 교정 작업의 관리

7.10.1 SUT에서 발견된 오류(error)들은 부적합한 작업 구성이 아니라, 시험 전체 결과의 견해이다. 이 오류들은 KS Q ISO/IEC 17025:2017 7.8에 따라 시험보고서로 문서화된다.

7.10.2 결과들에 무관한 어떠한 다른 시험들, 특히 문서화된 시험방법에 적합하지 않은 것들은 부적합한 작업으로 간주하며, 본 절의 요구사항들로 본다.

5. 기타

소프트웨어와 SUT의 품질 요구사항에 대한 시험 및 평가는 다음과 같이 적용해야 한다.

a) 소프트웨어 품질 시험을 위해 어떤 표준을 적용하였다면 그것에 대해서 명확하게 언급하여야 하며,

b) 패키지 소프트웨어의 품질 요구사항 시험을 하는 공인 시험기관은 ISO/IEC 25051 및 ISO/IEC 9126-2 (부록 2. 참고 문헌 참조) 표준에 의해 적용되어야 한다. 그렇지 않다면,

c) 공인된 소프트웨어 시험 책임자와 심의를 통해 자세한 방법과 특정 소프트웨어 분야의 지침을 개발함으로써 수행하여야 한다.

또한, 소프트웨어와 SUT의 품질 요구사항에는 시험 계획, 시험 설계 문서, 시험 슈트 및 관련 입력 데이터를 포함하는 시험 케이스를 포함할 수 있으며, KS Q ISO/IEC 17025:2017 8.3 및 7.2에 따라 승인, 검토, 통제 및 계정되어야 한다.

6. 재검토기한

「훈령․예규 등의 발령 및 관리에 관한 규정」(대통령훈령 제394호)에 따라 이 고시 발령한 후의 법령이나 현실 여건의 변화 등을 검토하여 이 고시의 폐지, 개정 등의 조치를 하여야 하는 기한은 2024년 04월 07일까지로 한다.

부      칙

제1조(시행일) 이 고시는 공포한 날부터 시행한다.

제2조(일반적 경과조치) 이 기준의 시행과 동시에 종전의 「소프트웨어 시험기관 인정을 위한 추가기술요건」(국가기술표준원 고시 제2020-0302호, 2020.10.14)의 규정 중 그에 해당하는 규정이 이 요령에 있는 경우, 종전 고시에 따른 행위는 이 요령에 의하여 행한 것으로 본다.

부록 1. 임베디드 소프트웨어

1. 서론

1.1 본문 1.4항의 내용과 같이 소프트웨어 분야별로 별도의 요구사항이 존재하며, 이 문서는 임베디드 소프트웨어 분야에 대한 공인 시험기관이 준수되어야 할 특별 요건을 기술한 것이다.

1.2 이 문서는 본문의 내용을 준용하여 사용하며, 임베디드 소프트웨어 분야에 특화된 부분만 추가하여 설명한다.

2. 적용범위

이 문서는 임베디드 소프트웨어 분야의 공인시험기관 인정을 받기 위한 사업자에 적용한다.

3. 인용표준

이 문서는 본문의 표준을 준용하며, 다음에 열거하는 임베디드 분야의 추가 표준의 최신 버전을 적용한다.

(1) KS C IEC 60335-1 가정용 및 이와 유사한 전기기기의 안전성 -제1부 : 일반 요구사항

(2) KS C IEC 60730-1 가정용 및 이와 유사한 자동 제어 장치－제1부：일반 요구 사항

(3) KS C IEC 62279 철도 적용 - 통신, 신호 및 처리 시스템 - 철도 제어 및 보호 시스템에 대한 소프트웨어

(4) RTCA/DO-178B 항공기 시스템과 장비 인증에 관한 소프트웨어 고려사항

(5) CESAR 안전기능 임베디드 시스템 개발의 비용효과적인 방법과 절차

(6) KS C IEC 60880 원자력발전소 - 안전에 중요한 계측 및 제어계통 - 범주 A의 기능을 수행하는 컴퓨터 기반 계통의 소프트웨어

(7) 상기 외 기타 임베디드 소프트웨어 관련 세부시험 표준

4. 정의

이 문서에서 사용하는 용어를 다음과 같이 정의한다.

4.1 임베디드 소프트웨어(Embedded software)

특정한 제품이나 솔루션에서 주어진 작업을 수행할 수 있도록 추가로 탑재되는 소프트웨어

5. 인정범위

공인시험기관은 임베디드 소프트웨어 인정범위에 관하여 KS Q ISO/IEC 17025:2017에 따라 수립한 품질 문서 및 본 규정에서 요구하는 문서로 시험업무를 명확히 정의하여야 한다.

6. 직원의 자격

자격 기준은 본문의 내용을 준용하며, 전문지식 분야를 임베디드 소프트웨어 분야로 한정한다. 다음과 같은 기술을 가진 직원이 있어야 한다.

(1) 하드웨어에 대한 지식

(2) 임베디드 소프트웨어 시험 및 평가에 대한 지식

7. 교육 훈련

교육 훈련은 본문의 내용을 준용하며, 임베디드 분야의 특수성에 의해 하드웨어 및 소프트웨어에 대한 교육을 함께 실시해야 한다.

8. 시설 및 환경조건

시설 및 환경조건은 본문의 내용을 준용하며, 임베디드 소프트웨어 시험을 위해 다음과 같은 시설 및 환경을 구비해야 한다.

8.1 평가시험실은 로직 분석기, 오실로 스코프 등의 계측 장비 사용을 위해 상온 상습을 유지할 수 있어야 한다.

8.2 고객이 제공한 소스코드 및 설계 제품을 시험해야 하는 경우가 많으므로 보안 및 기밀성을 유지할 수 있어야 한다.

9. 시험방법

임베디드 소프트웨어의 시험방법은 3항의 인용표준에 제시된 각 분야별로 존재하고 있는 표준을 준용하여 사용한다.

9.1 고객은 시험을 위하여 다음과 같은 정보를 제공할 수 있어야 하고, 시험요원은 고객이 제출한 자료를 가지고 시험을 진행한다.

정보의 종류	내 용
소프트웨어 시퀀스 자료	동작 시퀀스에 대한 논리적 설명, 시스템 개념, 제어흐름, 데이터 흐름 및 타이밍 설정 등에 대한 기술 포함
프로그램 자료	프로그램 설계서 및 소스 코드
소프트웨어 고장 분석	소프트웨어 고장에 대한 분석 자료
소프트웨어 구조	소프트웨어 구조 설명

10. 방법의 유효성 확인

KS Q ISO/IEC 17025:2017 7.2.2.1항 비고2.의 각 방법은 소프트웨어 시험에 있어 적용하지 않는 경우가 있다. 다만, 방법원리의 과학적 이해 및 실제경험에 근거한 시험의 결과평가는 가능한 경우가 있다.

11. 측정의 불확도 추정

소프트웨어 시험에 대해서는 KS Q ISO/IEC 17025:2017 7.6항을 적용하지 않으며, 계측 및 전기․전자 장비를 사용하는 인터페이스 시험 등에 대해서는 측정의 불확도를 추정 한다.

12. 장비 보유

장비에 대한 일반적인 사항은 본문의 내용을 준용하며, 임베디드 소프트웨어 시험을 위해 다음과 같은 장비를 별도로 구비해야 한다.

12.1 임베디드 소프트웨어와 관련된 하드웨어의 특성을 측정 및 모니터링 할 수 있는 시험평가 장비

13. 샘플링, 시험품목의 취급 및 보관 등 설명되지 않은 항목은 본문의 내용을 준용하여 적용한다.

부록 2 참고 문헌

열거된 표준 이외에 소프트웨어 관련 세부시험 표준이 존재할 경우, 아래와 같은 해당표준 등을 별도로 추가하여 적용할 수 있다.

(1) IEC 61508-3 Functional Safety of electrical/electronic/programmable electronic safety related systems - Part 3: Software requirements

(2) ISO/IEC 24709-1 Information technology - Conformance testing for the biometric application programming interface (BioAPI) - Part 1: Methods and procedures

(3) ISO/IEC 24709-2 Information technology - Conformance testing for the biometric application programming interface (BioAPI) - Part 2: Test assertions for biometric service providers

(4) ISO/IEC 25010:2017 Systems and software engineering -- Systems and software Quality Requirements and Evaluation (SQuaRE) -- System and software quality models

(5) ISO/IEC 9126-2 Software engineering - Product quality - Part 2: External metrics

(6) ISO/IEC 25001 Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Planning and management

(7) ISO/IEC 25020 Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Measurement reference model and guide

(8) ISO/IEC 25030 Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Quality requirements

(9) ISO/IEC 25051 Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Requirements for quality of Commercial Off-The-Shelf (COTS) software product and instructions for testing

(10) ISO/IEC 25062 Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

(11) 상기 외 기타 소프트웨어 관련 세부시험 표준